XViewRank:基于重叠条件的 LLM 增强稀疏检索分数融合
🧭 查询扩展与多视图检索排序融合
School of Computer Science and Technology, Soochow University
提出轻量检索端方法,将 BM25 分数与查询级重叠作为上下文,用小型非线性 scorer 条件融合多查询视图结果
📌 工作参考价值(4 点)
- 电商搜索可参考 LLM 生成 hypothesis / step-back 等多视角 query,配合 BM25 多路召回,避免词汇不匹配;无需重建索引,工程成本低。
- 融合时不要只依赖固定权重的 RRF:可加 query-level overlap 特征(如各路 top-k 结果重合度)和归一化分数据,训练小型非线性 scorer 做条件融合;特征少、可解释性强,容易在线打分。
- 收益主要在视图排名一致性低时出现,可设计动态触发策略:先计算 overlap 或一致性指标,只对低一致性的 query 走融合模型/更复杂的改写,控制延迟与成本。
- 注意论文在 DL20 证据较弱,收益具有数据集敏感性;业务迁移前应做在线 A/B,验证是否比固定融合、单独 LLM 扩展稳定提升。
基于子序列关联过滤与广度感知选择的LLM查询扩展幻觉词抑制
🧭 LLM查询扩展幻觉过滤 ★ 深度解读
Indian Institute of Technology (BHU), Varanasi, India · University College London, London, UK · Halmstad University, Halmstad, Sweden
用跨上下文可再现性与语料支撑度识别幻觉term,在nDCG@10无损下将注入query的无支撑词减少85%-93%
📌 工作参考价值(5 点)
- 可直接复用 SAFE-QE 的过滤评分:对 LLM 生成的候选扩展词/phrase,用「随机扰动 prompt 后的重现率 ρ(t)」+「与 top-k 相关文档的最大支持度 γ(t)」做加权,公式 s(t)=γ(t)-λρ(t)(1-γ(t))+μfreq(t)。在电商搜索 query 改写、广告关键词扩展中,能有效识别并降权「无论上下文都被生成但无商品/文档支撑」的幻觉词。
- 词选择不要固定 top-k,改为带 grounding 约束的 budget 最大覆盖问题:用贪心近似(1-1/e)从候选词里选最多覆盖伪相关文档/商品 faceting 的子集,避免多个高分词重复覆盖同一意图。电商多意图 query(如“苹果”)尤其需要这种 breadth-aware selection。
- 稳定性过滤很便宜:对 LLM 采样 N 次,只保留 freq(t)≥θ 的稳定 term,能额外过滤掉少量采样中出现的幻觉词。工程上可简单并行多次采样,几乎不增加线上复杂度。
- 建立 HETR 监控指标:在业务评估里同时看「幻觉率」和「幻觉负载=HETR×注入词数」,不要只看率;强 retriever / dense retrieval 下生成式扩展收益小,但幻觉过滤的收益最大,这时候尤其值得上线。
- 结论可迁移:一个 0.5B 小生成器 + 过滤器,faithfulness 可以超过 9B HyDE,说明过滤机制比生成器规模更重要;训练无关、检索器无关,适合低成本接入已有 generate-then-expand 流程。但注意 grounding 阈值 τg 需要按 retriever 分别标定(SPLADE 下的伪相关集合会让更多候选通过阈值)。
解释信息检索中查询扩展性能的框架
🧭 QueryRec · 查询扩展可解释性 ★ 深度解读
Indian Statistical Institute · IIT Bombay · IIT Bhilai
提出理想扩展查询与可分性两个视角,系统解释查询扩展性能差异,验证相似度与检索效果正相关
📌 工作参考价值(4 点)
- 可用理想查询作为离线评估扩展质量的参考:若有小规模标注(如电商搜索点击/相关标注),可构造近似理想查询,度量 LLM 生成的扩展词/改写 Query 与理想查询的余弦相似度,作为自动评估指标,避免昂贵的在线实验。
- 使用 separability(Cohen's d)快速评估扩展 Query 质量:在标注子集上计算相关商品与不相关商品得分的分离度,与线上效果相关性高,可用于 A/B 测试前的快速筛选或模型迭代中的监控指标。
- 诊断 LLM 生成查询扩展失败:当 LLM 生成的扩展词效果不好时,检查其是否缺少关键 term 或权重不当;可尝试用 DFO/LS 方法从标注数据中学习理想权重,反过来指导生成或后处理,例如对 LLM 生成的扩展词重新加权。
- 注意负权重处理:LS 理想查询含负权重,但 BM25 优化(如 Lucene)不支持负权重,实际系统中需截断或用支持负权重的检索器。
MERGE:生成式增强的多LLM检索集成
🧭 生成式查询扩展 · 多LLM集成 ★ 深度解读
University of Waterloo · National Taiwan University · Rakuten Group, Inc. · Rakuten Asia Pte. Ltd. · Taiwan Rakuten Ichiba, Inc.
两阶段多LLM查询扩展框架,用任务驱动自动提示优化在BM25上实现最高+14.9 nDCG@10提升
📌 工作参考价值(4 点)
- 电商搜索中,买家口语化 query 与商品标题/属性词之间常有词汇 gap,可借鉴 MERGE 两阶段设计:多个异构小模型各自扩展候选,再用稍大模型融合成一条查询,无需改语料或重建索引,可直接接入现有 BM25/Elasticsearch 流程。
- 用下游检索指标(如 nDCG@10、点击率或相关性人工评估)代替 LLM judge 做 prompt 优化,在 20% dev 子集上跑小 tournament,能自动把「seed prompt 可能削弱检索」转为稳定收益;适合快速迭代新模型或新增 generator 时免去手工 prompt 调优。
- APO 收敛后的 prompt 可能不是自然语言、读起来像 token 包,但它生成的 query 可读性没问题,不影响线上使用;可接受这种 prompt 形态,重点看最终 query 质量。
- 输出是 plain text query,只做一次 BM25/ES 检索,没有 rank fusion 和重索引开销;既能 query-time 在线扩召回,也能离线作为训练数据增强供 dense retriever 使用。
Seek:面向知识检索的自评估探索式迭代检索框架
🧭 LLM 迭代式检索与相关性反馈 ★ 深度解读
University of Waterloo · Mila – Quebec AI Institute · University of California, Berkeley · University of Toronto · Toronto Metropolitan University
训练无关的迭代检索框架,用 LLM 生成伪段落扩展 query 并分级评估反馈,突破单次检索 recall 上限
📌 工作参考价值(4 点)
- 用「LLM 生成 pseudo-passage 扩展 query → 重新召回 → LLM 分级标注」的测试时循环替代固定候选池 rerank,能在不训练排序模型的情况下找回 BM25 漏掉的商品/内容;电商搜索中可让 LLM 根据 query 生成伪商品描述、属性组合或场景描述来提升长尾和复杂约束 query 的 recall。
- 显式利用正负反馈:高分结果强化有效 facet(风格、价格带、使用场景),低分结果作为 drift 在下一轮 prompt 中抑制,而不是只做简单二值相关;可借鉴 UMBRELA 0-3 分级判断,使后续 query 扩展更精准。
- 成本控制设计可直接复用:每轮只评估 top-K 未见文档、最多 T 轮、top-K 全为最高分或连续两轮 top-K 不变时早停;工程上不需要全库 dense embedding,适合快速接入已有搜索链路。
- 最终排序采用两阶段:assessor 打过分文档按 grade 优先、未评估文档按 retriever 分数补位;对 Agent 检索工具友好,因为输出的是已评估的可解释候选池,比原始 BM25 更适合下游推理或商品推荐生成。
基于证据选择的 LLM 查询扩展:多改写器互补文档池与相关性筛选
🧭 LLM 查询扩展 · 证据选择 ★ 深度解读
Toronto Metropolitan University · University of Waterloo · University of Toronto
EviQE 将 LLM 查询扩展重构为文档证据选择问题,聚合多改写器检索结果并筛选后单轮生成,显著提升 TREC DL 与 BEIR 检索效果
📌 工作参考价值(4 点)
- 在电商搜索的 query 改写/扩展场景中,不要只依赖单一改写器或单一检索结果作为生成上下文。用多个改写器(如原始 query、LLM 直改、伪相关反馈、HyDE 等)并行召回文档,合并去重后作为候选池,再让 LLM judge 按与原始 query 的相关性打分选 top-B 篇作为生成 evidence,能显著提升改写 query 的召回质量。
- 证据选择比多轮迭代更划算:EviQE 一轮证据选择即可超过多轮 ThinkQE,且增加迭代会引入噪声。实际线上系统可把计算预算从多轮 RAG 改成“并行多路召回 + 一次性精筛 + 单轮生成”,降低延迟和成本。
- 用 LLM 做 relevance judge 时,建议采用 graded relevance(0-3)并固定 judge 模型,不要用简单的 agreement 或 RRF。论文中 LLM-Score 明显优于 frequency/RRF,且跨 generator 骨干稳定;在商品搜索中可复用类似打分来挑选高质量商品详情段落或用户评论作为改写证据。
- 候选池大小不必盲目扩大:4 个改写源(原始+CSQE+LameR+MuGI)已恢复大部分收益,增加到 11 个提升很小。实际部署可从少量高质量改写器开始。
超越一次性扩展:多跳检索的对比证据探索
🧭 多跳 RAG 检索 · 对比证据探索 ★ 深度解读
Chung-Ang University
训练免的多跳检索框架,通过对比 facet 索引、证据条件探索和覆盖感知重排提升 RAG 证据召回
📌 工作参考价值(4 点)
- 可直接迁移到电商搜索中的复杂意图查询:将原始 query 视为多跳证据链的起点,利用 LLM 基于已检索商品/属性生成下一轮 probe,逐步发现缺失的品类、品牌或属性约束,避免一次性扩展引入噪声。
- 借鉴 passage-specific contrastive facets 思想:为每个商品或知识片段离线生成“区分性问答对”(如“该商品与相似商品的差异点”),在召回阶段作为附加信号,帮助提升稠密检索对相似商品的区分度,避免同款/相似款混淆。
- Coverage-aware 贪心选择可以用于重排:在电商推荐或广告素材排序中,用生成多个 probe 分别代表不同用户意图,通过最大化边际覆盖增益选择集合,保证最终结果覆盖不同意图而非重复满足同一需求。
- 工程上,该框架 training-free,只需复用已有 embedding 和 LLM;但离线对比 facet 构建和在线多轮 LLM 调用成本较高,可以先在小而美的商品知识库上预计算,或者限制邻居数量和轮数来权衡 latency。
通过稀疏自编码器特征追踪查询扩展效应
🧭 SAE可解释性 + 查询扩展分析
Shandong University · University of Chinese Academy of Sciences · Institute of Software, Chinese Academy of Sciences
用SAE分解dense retriever表示,解释查询扩展引起的内部特征变化,并通过激活引导提升检索性能
📌 工作参考价值(3 点)
- 利用SAE特征分析查询改写/扩展对检索模型内部表示的影响,定位与用户意图、商品属性相关的稀疏维度,可用于电商搜索相关性问题的诊断与归因。
- 激活引导提供了一种无需重训检索模型或改写查询的轻量干预方式,可能用于实时调整检索行为,例如在电商搜索中提升特定品类或意图的召回。
- 对于生成式推荐或Agent系统,可借鉴SAE分解中间表示的方法,理解上下文如何影响item或action的生成,增强模型决策的可解释性。
查询扩展不只是生成:通过更好的集成改进稠密检索
🧭 LLM 查询扩展与稠密检索向量集成 ★ 深度解读
University of Arizona
将原查询与 LLM 扩展分别编码后做向量插值,并用无监督前缀估计扩展信任度,单向量提升稠密检索
📌 工作参考价值(4 点)
- 在搜索/推荐中如果使用 LLM 生成 query 改写、语义扩展或类目词,不要直接拼接进 embedding 或仅用扩展文本检索;把原始 query 和扩展分别过 query encoder,再做归一化向量插值,权重 α 显式控制扩展贡献,可避免 token 截断、attention 纠缠带来的退化。
- 无监督在线校准 α:用流量前 8-16 个无标注 query 估计 stream-level α,按 r_top1 × r_sup 计算,即扩展自身检索强度 × 与原始 query top10 证据一致度;电商搜索流或推荐 query 流可零标注启动,之后冻结为单向量服务。
- 工程架构上,如果只需同一 dense space 的线性融合,用单向量 AnchorQE 等价加权 CombSUM,一次 ANN 检索即可,不要做 N+1 路融合;但混合 sparse/dense 或非线性融合不适用。
- 扩展质量仍是上限:集成只能控制影响,不能修复 LLM 生成的无关内容;生成质量差时应优先优化 prompt 或过滤,而不是只调 α。
文档嵌入保持调优:统一查询扩展与检索
🧭 LLM 统一查询扩展与稠密检索 ★ 深度解读
Beihang University
通过文档嵌入保持、白化、在线硬负样本与直通解码,实现 LLM 在统一查询扩展与稠密检索中的稳定端到端训练
📌 工作参考价值(4 点)
- 在电商搜索 query 改写/扩展中,可借鉴 DEPT 思路:用同一 LLM 做改写和向量编码,但保持文档侧嵌入稳定,避免频繁重建全库向量索引;工程上可先缓存文档嵌入,微调时只更新 query 侧,上线时直接复用原有向量库,节省推理与索引成本。
- 采用固定白化(whitening)预处理向量空间,缓解 LLM 原始嵌入的各向异性,提升 cosine 检索效果;实践中可以基于已有文档向量估计白化矩阵,训练时保持文档分布稳定,该矩阵可持续有效。
- 直通解码(straight-through)将检索排序损失直接传到生成 logits,可用来优化 query 生成策略,让生成式改写直接以召回/排序指标为学习信号,而非仅文本相关;在线硬负样本挖掘能提供与当前 query 行为匹配的难负样本,提升训练效率。
- 短扩展变体(DEPT-K)用关键词式 prompt 控制生成极短扩展(~9 tokens),在几乎不增加线上延迟的情况下达到接近长扩展效果,适合电商搜索高并发低延迟场景。
Skill2Query:利用技能结构生成伪查询用于Agent技能检索
🧭 Agent 技能检索 · 结构感知伪查询生成 ★ 深度解读
Fudan University · Sun Yat-sen University · Shanghai Innovation Institute · Shanghai Jiao Tong University
将技能文档解析为知识图谱,三阶段生成能力对齐、参数一致的伪查询,提升检索与训练效果
📌 工作参考价值(4 点)
- 对电商/Agent 平台的技能、工具、商品文档检索:不要直接把整篇文档塞给 LLM 生成伪查询;先做结构解析(能力点、参数 schema、使用示例),再分阶段生成,能明显改善参数一致性与能力覆盖。
- 伪查询可同时服务离线索引增强和在线查询扩展:离线对名称/简短描述这类稀疏索引收益最大;在线适合补长尾表达,配合 RRF 融合简单有效。
- 在 fine-tune retriever 前,用 Exec-Pass、Func-Coverage、Distinct-3 等指标筛选结构合法的伪查询,比只追求表面多样性更能提升下游 R@1/nDCG@1。
- 当底层 LLM 推理能力较弱时,高质量技能/工具检索对端到端任务成功率提升更明显;在导购 Agent 或工具推荐中可优先把检索质量做高,而不是依赖强模型硬扛。
TREC 2025 产品搜索与推荐评测任务概览
🧭 电商搜索与推荐评测 · 产品关系数据集
University of Illinois Urbana-Champaign · Coursera · Snowflake · Coupang · Waseda University
提供 TREC 2025 产品搜索与推荐评测框架,新增区分互补/相关关系的产品推荐标注数据集
📌 工作参考价值(4 点)
- 产品关系建模:借鉴其区分 complementary(互补,如配件)与 related(相关,如替代品)的思路,在电商推荐中构建更细粒度关系标签,用于训练排序模型或构建知识图谱,提升推荐可解释性和多样性。
- Query 扩展任务:在搜索/推荐中,query expansion 可用于生成式推荐(LLM4Rec)的 prompt 设计或 query 特征增强;可参照其评估框架设计离线和在线指标,验证扩展 query 对检索效果的影响。
- 对话式产品发现:数据标注为 complementary/related 为对话式购物代理(Agent)提供候选商品关系基础,可用于约束 LLM 生成的候选 item 集合,减少幻觉,提升上下文相关性。
- 开箱即用评测:若公司需快速验证检索/推荐模型,可复用该 benchmark 作为外部评测集,节省自建标注成本;同时其任务设计启示内部评测集应区分“互补”和“相关”,避免混淆。